第6章 文章分類
https://github.com/stockmarkteam/bert-book/blob/master/Chapter6.ipynb
livedoorニュースコーパス
利用するBERTは、
https://huggingface.co/cl-tohoku/bert-base-japanese-whole-word-masking
クラス数9の多クラス分類
10エポック訓練を回しbestのaccuracyを確認
train:val:test = 6:2:2
livedoorニュースのテキストファイルから、4行目以降を取り出す実装(6-11)
https://docs.python.org/ja/3/library/stdtypes.html#str.splitlines
文字列を改行部分で分解し、各行からなるリストを返します。 keepends に真が与えらない限り、返されるリストに改行は含まれません。